Metric	Score
Weighted-F1	52.74
Hyphens-F1	51.16
Comma-F1	64.93
Ellipsis-F1	0.00
Fullstop-F1	43.05
QMark-F1	30.56
Colon-F1	74.00
Excl-F1	18.18

Metric	Score
Weighted-F1	51.94
Hyphens-F1	39.55
Comma-F1	70.36
Ellipsis-F1	100.00
Fullstop-F1	39.03
QMark-F1	16.13
Colon-F1	55.84
Excl-F1	8.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Comma-F1
1	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O …	12.50
2	wikitalks003512 dlaczego data wejścia w życie konstytucji rózni się od tej podanej na stronie angielskiej wersji wikipedi xmikolajx poprawka…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O …	13.33
3	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	O O O O B-COMMA O O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O …	21.05
4	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O …	22.22
5	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	25.00
6	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	27.27
7	wikinews180020 polska edycja wikinews wolnego źródła informacji opartego o technologię wiki ma już rok na początku 2005 roku po dyskusji na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMM…	31.58
8	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	33.33
9	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	37.50
10	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O …	40.00
11	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	40.00
12	wikinews226523 15 kwietnia 2013 na warszawskiej giełdzie papierów wartościowych ruszy nowy system giełdowy gpw po 13 latach zmienia system k…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O B-COMM…	42.11
13	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-…	44.44
14	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	44.44
15	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O …	44.44
16	wikinews183089 dziś tuż przed godziną dziesiątą zawitał w szczecinie jacht rona ii tuż po nim na horyzoncie pojawił się żaglowiec szkolny ma…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O …	45.45
17	wikinews239126 o godzinie 12 06 04 czasu polskiego chiny wystrzeliły sondę księżycową chang'e 1 jest to pierwszy chiński statek kosmiczny wy…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O …	47.06
18	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	47.06
19	wikinews229677 brytyjska policja aresztowała mężczyznę podejrzanego o dokonanie mordu na 5 prostytutkach na terenie miasta ipswich we wschod…	O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	47.06
20	wikinews230864 prezydent francji jacques chirac opuścił dziś wojskową klinikę val de grace w której spędził tydzień czasu powodem pobytu był…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O B-COMMA …	47.62
21	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA …	48.00
22	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	48.28
23	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O …	50.00
24	wikinews188298 armia pakistańska rozpoczęła ponad tydzień temu operację w górskich rejonach waziristanu w nalotach lotnictwa pakistanu i usa…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-…	50.00
25	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O …	50.00
26	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMM…	50.00
27	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O …	50.00
28	wikinews227317 drugiego maja wchodzi w życie rozporządzenie ministra transportu i budownictwa z dnia 20 kwietnia zmieniające rozporządzenie …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
29	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O B-COMMA …	51.43
30	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O …	51.85
31	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	53.33
32	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O B-COMMA O O B-COMMA O O O O O O …	54.55
33	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	54.55
34	wikinews239133 nasa ogłosiła w poniedziałek swoje plany dotyczące powrotu ludzi na księżyc głównym założeniem jest wysłanie czteroosobowej z…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O …	54.55
35	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA …	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	54.55
36	wikinews239127 rosyjska agencja kosmiczna roskosmos podpisała wczoraj z rządem indii porozumienie o wspólnych badaniach i eksploracji księży…	O O B-COMMA B-COMMA O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O O O O O O O O B-COMMA O O O O …	54.55
37	wikitalks001872 dlaczego eurocopter ec725 super cougar i dalej " " a h225m caracal jak znam życie i ryst tą samą maszyną co ej ein ek to ec7…	O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O B-…	55.56
38	wikinews180554 na 5 5 km prologu w düsseldorfie zawodników przywitała nie najlepsza pogoda czasami nawet utrudniała ona bardzo jazdę specjal…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	56.00
39	wikinews190232 od 25 stycznia trwa projekt karawany na rzecz praw migrantów organizowanej przez sieć afrique europe interact karawana rozpoc…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O B-COMMA O O O O B-COMMA O O …	56.25
40	wikinews231146 były asystent przewodniczącego komisji śledczej ds orlenu józefa gruszki został przez sąd aresztowany na trzy miesiące marcin…	O O O O O O B-COMMA O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	57.14